En el campo de la inteligencia artificial, la generación de audio a partir de texto se está convirtiendo en un área de investigación cada vez más popular. Recientemente, los investigadores han presentado un nuevo modelo llamado TANGOFLUX, que destaca por su rendimiento y eficiencia. TANGOFLUX es un modelo eficiente de generación de audio a partir de texto, con 515 millones de parámetros, capaz de generar audio de 44,1 kHz de hasta 30 segundos de duración en tan solo 3,7 segundos. Esta velocidad lo convierte en un modelo excepcionalmente rápido en una sola GPU A40. TANGOFLUX principalmente...

Audible de Amazon ha anunciado una iniciativa innovadora que utiliza la inteligencia artificial (IA) para entrenar las voces de narradores profesionales con el fin de producir audiolibros de alta calidad. A partir de esta semana, narradores de audiolibros estadounidenses seleccionados participarán en el proceso de entrenamiento de IA para asegurar que las voces sintéticas de IA sean comparables a las de profesionales. Los narradores tendrán la oportunidad de revisar las voces sintéticas de IA para asegurar que se ajusten al estilo y el tono de la obra, y para realizar ajustes finos en la pronunciación y el ritmo de la IA. Audible se compromete a pagar a los narradores participantes según el título y el reparto de regalías.

Stability AI ha lanzado recientemente Stable Audio Open, un modelo de generación de audio de código abierto capaz de generar audio de hasta 47 segundos con una frecuencia de muestreo de 44.1 kHz. Su diseño de pesos abiertos permite a los usuarios revisar, modificar y ampliar el modelo, impulsando la innovación en investigación y desarrollo. El entrenamiento del modelo se realizó con audio bajo licencia Creative Commons, garantizando la legalidad y la ética de los datos. La arquitectura del modelo es avanzada, permitiendo la generación de audio estéreo de alta calidad, con diversidad y alta fidelidad comprobadas, comparable a los modelos de vanguardia. Esta herramienta es ideal para investigadores...

El equipo de investigación del laboratorio de inteligencia artificial de Tencent presenta VTA-LDM, un modelo de "generación de audio alineado con video implícito". Gracias a su innovadora tecnología de alineación implícita, VTA-LDM logra una coherencia semántica y temporal efectiva entre el video y el audio generado, mejorando significativamente la calidad de la generación de audio y ampliando las aplicaciones de la tecnología de generación de video. Los análisis experimentales muestran que el diseño del modelo, que combina un codificador visual, incrustaciones auxiliares y aumento de datos, mejora significativamente la precisión y la coherencia del audio generado. El equipo estableció un modelo base, realizó experimentos de ablación y evaluó el impacto de diferentes partes en los resultados de la generación.

Alibaba Tongyi Lab ha lanzado recientemente un proyecto de modelo de generación de audio de código abierto llamado FunAudioLLM, cuyo objetivo es mejorar la experiencia de interacción de voz natural entre humanos y modelos de lenguaje extenso (LLM). El proyecto consta de dos modelos principales: SenseVoice y CosyVoice.

ElevenLabs, una empresa centrada en la tecnología de generación de audio, ha anunciado recientemente su incursión en el campo de la generación de video. Han lanzado un proyecto de código abierto que permite el doblaje automático de videos subidos, generando efectos de sonido apropiados.